Trong tiểu thuyết Tam Quốc diễn nghĩa của La Quán Trung, Gia Cát Cẩn là nhân vật thứ yếu. Ông được mô tả gần với sử sách. Tại hồi 43, khi Gia Cát Lượng sang Giang Đông, La Quán Trung để Gia Cát Cẩn đến gặp Gia Cát Lượng dụ theo họ Tôn, nhưng bị Gia Cát Lượng dụ lại theo Lưu Bị. Cuối cùng ông trở về báo lại cho Tôn Quyền và tỏ lòng trung.

Sau đó La Quán Trung để Gia Cát Cẩn đóng vai trò trung gian trong vấn đề Kinh châu. Việc Lã Mông đánh chiếm 3 quận Linh Lăng, Trường Sa và Quế Dương từ tay Quan Vũ không được nhắc tới mà thay vào đó, La Quán Trung nói về sự tàn nhẫn của Tôn Quyền khi bắt giam gia quyến Gia Cát Cẩn và sai ông vào Thục khóc lóc với Gia Cát Lượng, nhờ xin hộ với Lưu Bị cứu vớt, nếu không gia quyến ông sẽ bị hại. Vì Lưu Bị nhân từ nên trả lại 3 quận cho Tôn Quyền để cứu gia quyến Gia Cát Cẩn.

Sau đó Gia Cát Cẩn lại làm sứ giả sang Giang Lăng gặp Quan Vũ đề nghị làm thông gia với Tôn Quyền, cùng liên minh chống Tào. Nhưng Quan Vũ nóng nảy quát mắng và đuổi Gia Cát Cẩn về Đông Ngô.